Web Survey Bibliography
Online questionnaires are not very common yet in academic research, particularly not in middle or large scale surveys – mixed-mode strategies being an exception. This is to some degree due to methodical difficulties which are inherent in online surveys: A rather low response rate, an insufficient reachability of many populations and the non-existence of a reliable internal sampling frame to draw representative samples, e.g. a comprehensive email directory. However, these difficulties can be successfully addressed and resolved by “switching” during the surveying process from one mode to another - in our case from CATI (computer assisted telephone interviewing) to online surveying.
The case of a representative Swiss establishment survey about “cooperations with external training providers” serves as an example to demonstrate this. Online questionnaire and CATI are combined in this survey to overcome some of the weaknesses of the respective techniques. The national establishment register, which covers all active Swiss establishments, was used as sampling frame. The sampled establishments were then contacted by telephone in order to select an appropriate informant and a suitable training cooperation. During this CATI-interview informants received a link to an online questionnaire via email which asked detailed questions about the selected training cooperation. We intended to lead informants directly through the log-in procedure and to introduce them to the online questionnaire at the end of the CATI-interview.
Our procedure combines several advantages. First contact via telephone allows
* the use of an excellent sampling frame which makes a representative sampling possible,
* the controlled criterion-based selection of an appropriate informant by the CATI-interviewees,
* to deal with certain difficult or complex questions on the phone (as in this case the critical selection of a suitable cooperation with an external training provider)
* to increase the willingness to participate in the survey by adopting individual refusal conversion which yields to a higher response rate.
The use of an online questionnaire on the other side
* leads to cost savings,
* improves response quality for certain questions, where a visual representation of the questions and answers is helpful (e.g. rating questions) and
* makes it possible to provide respondents with a short and individually tailored questionnaire by using complex filters.
Experiences with this procedure are described in the presentation and some results concerning important points as online reachability of the establishments or informants, response rate, arising difficulties with the switch from CATI to online questionnaire as well as the evaluation of this procedure by the respondents are presented.
Online-Surveys werden in der wissenschaftlichen Forschung immer noch relativ selten für grössere Umfragen verwendet – und wenn doch, dann im Rahmen von Mixed-Mode-Strategien. Dies ist zum Teil auf einige spezifische methodische Schwierigkeiten von Online-Surveys zurückzuführen: Hierzu zählt vor allem die eher tiefe Rücklaufquote, die eingeschränkte (Online-)Erreichbarkeit je nach Population und das Nicht-Vorhandensein eines verlässlichen internen Sampling-Frames, etwa auf der Basis eines E-Mail-Directories. Diese Schwierigkeiten lassen sich aber gezielt angehen und lösen – indem von einer Datenerhebungsmethode (CATI – computer assisted telephone interviewing) zu einer anderen (Online-Erhebung) gewechselt wird.
Im Beitrag wird dies am Beispiel des Vorgehens bei einer für die Schweiz repräsentativen Unternehmensbefragung zur Zusammenarbeit mit externen Weiterbildungsanbietern aufgezeigt, welche Instrumente der Online-Erhebung mit CATI kombiniert. Dadurch können die Stärken der jeweiligen Methode genutzt und deren Schwächen überwunden werden. Als Sampling-Frame kam bei der Erhebung das nationale Unternehmensregister, welches sämtliche Unternehmen abdeckt, zum Zuge. Im nächsten Schritt wurden die auf dieser Grundlage gesampelten Unternehmen telefonisch kontaktiert, die passende firmeninterne Zielperson eruiert und eine passende Weiterbildungskooperation im Gespräch ausgewählt. Während dem Gespräch wurde den Zielpersonen via E-Mail ein Link zu einem Online-Fragebogen zugestellt, in dem diese ausführlich zur ausgewählten Weiterbildungskooperation befragt wurden. Wenn immer möglich wurden die Personen telefonisch in den Einstieg des Online-Fragebogen begleitet.
Die Vorteile eines Erstkontaktes via CATI sind, dass
* ein Sampling-Frame zur Verfügung steht, welches eine repräsentative Stichprobe ermöglicht,
* die telefonische Kontaktaufnahme eine kontrollierte Auswahl der Zielperson ermöglicht,
* „schwierige“ Fragen bzw. Auswahlentscheide (im vorliegenden Fall ein passende Beziehung zu einem Weiterbildungsanbieter, eine „Weiterbildungskooperation“) durch die CATI-Interviewer am Telefon begleitet durchgeführt werden kann und
* durch die telefonische Kontaktaufnahme die Teilnahmemotivation und damit die Response-Quote deutlich erhöht werden kann.
Auf der anderen Seite werden durch den Einsatz eines Online-Fragebogens
* Interviewer-Zeit und damit Kosten gespart,
* Fragen und Antworten werden den Antwortenden visuell präsentiert (was z.B. bei Beurteilungen oft von Vorteil ist) und
* erhalten die Antwortenden durch die ausgefeilten Filterführungsmöglichkeiten bei Online-Surveys einen individuell angepassten und entsprechend kürzeren Fragebogen. Da Unternehmen relativ heterogene Gebilde sind, ist dies ein unschätzbarer Vorteil.
Im Vortrag sollen die Erfahrungen mit dieser Vorgehensweise dargestellt und Resultate zu ausgewählten wichtigen Punkten präsentiert werden: Der Anteil der via E-Mail erreichbaren Unternehmen bzw. Zielpersonen, die Rücklaufquote, Schwierigkeiten beim Übergang von CATI zum Online-Fragebogen, sowie die Bewertung dieser Vorgehensweise durch die Befragten selbst.
General online research (GOR) 2008 (abstract)
Web survey bibliography (439)
- Answering Without Reading: IMCs and Strong Satisficing in Online Surveys; 2017; Anduiza, E.; Galais, C.
- Ideal and maximum length for a web survey; 2017; Revilla, M.; Ochoa, C.
- Web Survey Gamification - Increasing Data Quality in Web Surveys by Using Game Design Elements; 2017; Schacht, S.; Keusch, F.; Bergmann, N.; Morana, S.
- Effects of sampling procedure on data quality in a web survey; 2017; Rimac, I.; Ogresta, J.
- Comparability of web and telephone surveys for the measurement of subjective well-being; 2017; Sarracino, F.; Riillo, C. F. A.; Mikucka, M.
- Fieldwork monitoring and managing with time-related paradata; 2017; Vandenplas, C.
- Interviewer Gender and Survey Responses: The Effects of Humanizing Cues Variations; 2017; Jablonski, W.; Krzewinska, A.; Grzeszkiewicz-Radulska, K.
- Millennials and emojis in Spain and Mexico.; 2017; Bosch Jover, O.; Revilla, M.
- Nonresponses as context-sensitive response behaviour of participants in online-surveys and their relevance...; 2017; Wetzlehuetter, D.
- Humanizing Cues in Internet Surveys: Investigating Respondent Cognitive Processes; 2017; Jablonski, W.; Grzeszkiewicz-Radulska, K.; Krzewinska, A.
- Pushing to web in the ISSP; 2017; Jonsdottir, G. A.; Dofradottir, A. G.; Einarsson, H. B.
- Rates, Delays, and Completeness of General Practitioners’ Responses to a Postal Versus Web-Based...; 2017; Sebo, P.; Maisonneuve, H.; Cerutti, B.; Pascal Fournier, J.; Haller, D. M.
- Oversampling as a methodological strategy for the study of self-reported health among lesbian, gay and...; 2017; Anderssen, N.; Malterud, K.
- Utjecaj vizualne orientacije skale za odgovaranje i broja stranica web-upitnika na rezultate ispitivanja...; 2017; Malikovic, M.; Svegar, D.; Somodzi, S.
- How to Design a Web Survey Using Spring Boot With MYSQL: a Romanien Network Case Study; 2017; Bucea-Manea-Tonis, Ro.; Bucea-Manea-Tonis, Ra.
- Analyzing Survey Characteristics, Participation, and Evaluation Across 186 Surveys in an Online Opt-...; 2017; Revilla, M.
- Comparative analysis of a mobile device and paper as effective survey tools; 2017; Kim, K. J.; Bae, S.; Park, E.
- Enhancing survey participation: Facebook advertisements for recruitment in educational research; 2017; Forgasz, H.; Tan, H.; Leder, G.; McLeod, A.
- Virtual reality meets sensory research; 2017; Depoortere, L.
- PC, phone or tablet? Use, preference and completion rates for web surveys ; 2017; Brosnan, K.; Gruen, B.; Dolnicar, S.
- “Better do not touch” and other superstitions concerning melanoma: the cross-sectional web...; 2016; Gajda, M.; Kamiñska-Winciorek, G.; Wydmañski, J.; Tukiendorf, A.
- Making use of Internet interactivity to propose a dynamic presentation of web questionnaires; 2016; Revilla, M.; Ochoa, C.; Turbina, A.
- A streamlined approach to online linguistic surveys; 2016; Erlewine, M. Y.; Kotek, H.
- Du kommst hier nicht rein: Türsteherfragen identifizieren nachlässige Teilnehmer in Online-Umfragen; 2016; Merkle, B.; Kaczmirek, L.; Hellwig, O.
- Smartphones vs PCs: Does the Device Affect the Web Survey Experience and the Measurement Error for...; 2016; Toninelli, D.; Revilla, M.
- Estimation and Adjustment of Self-Selection Bias in Volunteer Panel Web Surveys ; 2016; Niu, Ch.
- Sensitive Questions in Online Surveys: An Experimental Evaluation of Different Implementations of the...; 2016; Hoglinger, M.; Jann, B.; Diekmann, A.
- Design and test of a web-survey for collecting observer’s ratings on dairy goats’ behavioural...; 2016; Vieira, A.; Oliveira, M. D.; Nunes, T.; Stilwell, G.
- Can Student Populations in Developing Countries Be Reached by Online Surveys? The Case of the National...; 2016; Langer, A., Meuleman, B., Oshodi, A.-G. T., Schroyens, M.
- Feature phones no barrier to conducting an effective conjoint study ; 2016; de Rooij, R.; Dossin, R.
- Patient preference: a comparison of electronic patient-completed questionnaires with paper among cancer...; 2016; Martin, P.; Brown, M.C.; Espin‐Garcia, O.; Cuffe, S.; Pringle, D.; Mahler, M.; Villeneuve, J.;...
- Does the Use of Smartphones to Participate in Web Surveys Affect the Survey Experience when Sensitive...; 2016; Toninelli, D.; Revilla, M.
- Device use in web surveys: The effect of differential incentives; 2016; Mavletova, A. M.; Couper, M. P.
- Device Effects - How different screen sizes affect answers in online surveys; 2016; Fisher, B.; Bernet, F.
- Do Initial Respondents Differ From Callback Respondents? Lessons From a Mobile CATI Survey; 2016; Vicente, P.; Marques, C.
- The use of online social networks as a promotional tool for self-administered internet surveys; 2016; de Rada, V. D.; Arino, L. V. C; Blasco, M. G
- Assessing the Effects and Effectiveness of Attention-check Questions in Web Surveys: Evidence From a...; 2016; Vannette, D.
- Mode Effects on Subjective Well-being Research: Do they Affect Regression Coefficients? ; 2016; Sanchez Tome, R.; Roberts, C.; Staehli, M. E.; Joye, D.
- Evaluating a Modular Design Approach to Collecting Survey Data Using Text Messages ; 2016; West, B. T.; Ghimire, D.; Axinn, W.
- Reaching the Mobile Generation: Reducing Web Survey Non-response through SMS Reminders ; 2016; Kanitkar, K. N.; Marlar, J.
- Safety First: Ensuring the Anonymity and Privacy of Iranian Panellists’ While Creating Iran...; 2016; Farmanesh, A.; Mohseni, E.
- Non-Observation Bias in an Address-Register-Based CATI/CAPI Mixed Mode Survey; 2016; Lipps, O.
- Web surveys for offline rural communities ; 2016; Gichohi, B. W.
- On-line life history calendar and sensitive topics: A pilot study; 2016; Morselli, D.; Berchtold, A.; Granell, J.-C. S.; Berchtold, And.
- An experiment comparing grids and item-by-item formats in web surveys completed through PCs and smartphones...; 2016; Revilla, M.; Toninelli, D.; Ochoa, C.
- Improving Inpatient Surveys: Web-Based Computer Adaptive Testing Accessed via Mobile Phone QR Codes; 2016; Chien, T. S.; Lin, W.S.
- Pre-Survey Text Messages (SMS) Improve Participation Rate in an Australian Mobile Telephone Survey:...; 2016; Dal Grande, E.; Chittleborough, C. R.; Campostrini, S.; Dollard, M.; Taylor, A. W.
- Short and Sweet? Length and Informative Content of Open-Ended Responses Using SMS as a Research Mode; 2016; Walsh, E.; Brinker, J. K.
- Mixing modes of data collection in Swiss social surveys: Methodological report of the LIVES-FORS mixed...; 2016; Roberts, C.; Joye, D.; Staehli, M. E.
- What is the gain in a probability-based online panel to provide Internet access to sampling units that...; 2016; Revilla, M.; Cornilleau, A.; Cousteaux, A-S.; Legleye, S; de Pedraza, P.